Improved Large Language Diffusion Models
改进的大语言扩散模型
🧭 大语言模型扩散训练与推理优化
Renmin University of China · Beijing Key Laboratory of Research on Large Models and Intelligent Governance · Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE · ByteDance Seed
8B 全双向掩码扩散语言模型从零预训练 12T tokens，大幅超越 LLaDA 并与自回归模型竞争
📌 工作参考价值（4 点）
- 生成式推荐场景可尝试用扩散模型替代自回归生成，尤其适合需要高吞吐、非自回归解码的物品标题、描述或语义 ID 生成。
- 全双向注意力在用户序列建模、查询改写等需要全局上下文的推荐任务中可能提升效果。
- 掩码扩散训练与变长生成技术可应用于对话式推荐响应生成，平衡效率与多样性。
- 置信度评分为推荐候选集排序提供新思路，如计算 item 置信度辅助精排。